Are large language models (LLMs) like GPT-3 psychologically safe? In this work, we design unbiased prompts to evaluate LLMs systematically from a psychological perspective. Firstly, we test the personality traits of three different LLMs with Short Dark Triad (SD-3) and Big Five Inventory (BFI). We find all of them show higher scores on SD-3 than the human average, indicating a relatively darker personality. Furthermore, LLMs like InstructGPT and FLAN-T5, which are fine-tuned with safety metrics, do not necessarily have more positive personalities. They score higher on Machiavellianism and Narcissism than GPT-3. Secondly, we test the LLMs in GPT-3 series on well-being tests to study the impact of fine-tuning with more training data. Interestingly, we observe a continuous increase in well-being scores from GPT-3 to InstructGPT. Following the observations, we show that instruction-finetune FLAN-T5 with positive answers in BFI can effectively improve the model from a psychological perspective. Finally, we call on the community to evaluate and improve LLMs' safety systematically instead of at the sentence level only.

Novel artificial intelligence (AI) technology has expedited various scientific research, e.g., cosmology, physics and bioinformatics, inevitably becoming a significant category of workload on high performance computing (HPC) systems. Existing AI benchmarks tend to customize well-recognized AI applications, so as to evaluate the AI performance of HPC systems under predefined problem size, in terms of datasets and AI models. Due to lack of scalability on the problem size, static AI benchmarks might be under competent to help understand the performance trend of evolving AI applications on HPC systems, in particular, the scientific AI applications on large-scale systems. In this paper, we propose a scalable evaluation methodology (SAIH) for analyzing the AI performance trend of HPC systems with scaling the problem sizes of customized AI applications. To enable scalability, SAIH builds a set of novel mechanisms for augmenting problem sizes. As the data and model constantly scale, we can investigate the trend and range of AI performance on HPC systems, and further diagnose system bottlenecks. To verify our methodology, we augment a cosmological AI application to evaluate a real HPC system equipped with GPUs as a case study of SAIH.

Data heterogeneity across clients in federated learning (FL) settings is a widely acknowledged challenge. In response, personalized federated learning (PFL) emerged as a framework to curate local models for clients' tasks. In PFL, a common strategy is to develop local and global models jointly - the global model (for generalization) informs the local models, and the local models (for personalization) are aggregated to update the global model. A key observation is that if we can improve the generalization ability of local models, then we can improve the generalization of global models, which in turn builds better personalized models. In this work, we consider class imbalance, an overlooked type of data heterogeneity, in the classification setting. We propose FedNH, a novel method that improves the local models' performance for both personalization and generalization by combining the uniformity and semantics of class prototypes. FedNH initially distributes class prototypes uniformly in the latent space and smoothly infuses the class semantics into class prototypes. We show that imposing uniformity helps to combat prototype collapse while infusing class semantics improves local models. Extensive experiments were conducted on popular classification datasets under the cross-device setting. Our results demonstrate the effectiveness and stability of our method over recent works.

大型变压器模型在各种自然语言处理（NLP）任务上显示出令人鼓舞的性能。尽管AI社区已将模型量表扩展到了万亿个参数级别，但由于延迟，吞吐量和内存约束，仍不确定100亿参数模型的实际部署。在本文中，我们提出了Energonai，以解决单个或多GPU系统上有效部署1000亿参数变压器模型的挑战。 Energonai采用层次结构控制器系统体系结构来协调多个设备并有效支持不同的并行模式。它将子模型的执行委托给单个控制器样式的多个工人，并以多控制器样式的工人之间的工人之间的张量并行性和管道并行性。在新的架构上，我们提出了三种技术，即非阻滞管道并行性，分布式冗余计算消除和同行记忆池。 Energonai使用户能够编程复杂的并行代码与串行编码相同。与FertransFormer相比，我们已经证明，Energonai在延迟和吞吐量方面具有较高的性能。在我们的实验中，Energonai可以在张量并行性，管道并行性的10％可伸缩性中实现37％的潜伏期降低，并通过使用较大的异质记忆空间以有限的性能降低的成本来提高对单个GPU推断的模型量表。

我们提出了一个开放域的社交聊天机器人Chirpy Cardinal。为了既有信息又有信息，我们的机器人以一种真实的，情感上的方式与用户聊天。通过将受控的神经产生与脚手架，手写的对话整合在一起，我们让用户和机器人都轮流推动对话，从而产生引人入胜且流利的体验。Chirpy Cardinal部署在Alexa奖Socialbot Grand Challenge的第四次迭代中，每天处理数千次对话，在9个机器人中排名第二，平均用户评级为3.58/5。

行动调速器是标称控制循环的附加方案，该方案监视和调整控制措施以强制执行以端加状态和控制约束表示的安全规范。在本文中，我们介绍了系统的强大动作调速器（RAG），该动力学可以使用具有参数和加法不确定性的离散时间分段仿射（PWA）模型来表示，并受到非convex约束。我们开发了抹布的理论属性和计算方法。之后，我们介绍了抹布来实现安全加强学习（RL），即确保在线RL勘探和探索过程中的历史约束满意度。该开发使控制策略的安全实时演变和适应操作环境和系统参数的变化（由于老化，损坏等）。我们通过考虑将其应用于质量 - 弹簧式抑制系统的软地面问题来说明抹布在约束执法和安全RL中的有效性。

从测试阶段的单个初始示例跟踪视觉对象已被广泛地作为一个/几次射击问题，即初始适应的一次性学习和在线适应的少量学习。近期几次拍摄的在线适应方法通过在离线阶段的复杂元学习优化中，从大量注释的训练数据中纳入了现有知识。这有助于在线深度跟踪器实现快速适应并降低跟踪的过度风险。在本文中，我们提出了一个简单但有效的递归最小二乘估计估计者辅助在线学习方法，但在不需要离线培训的情况下进行了几次拍摄的在线适应。它允许内置的内存保留机制进行模型，以记住关于之前看到的对象的知识，因此可以安全地从训练中安全地移除所看到的数据。这也与在防止灾难性遗忘的新出现的连续学习领域带有某些相似之处。这种机制使我们能够揭示现代在线深度跟踪器的力量，而不会产生过多的计算成本。我们根据在线学习家庭中的两个网络评估我们的方法，即在RT-MDNET中的多层的rceptrons和DIMP中的卷积神经网络。对若干具有挑战性的跟踪基准的一致性改进展示了其有效性和效率。

我们提出了用于将Swin变压器缩放到3亿参数的技术，并使其能够使用高达1,536美元的图像培训1,536美元。通过缩放容量和分辨率，Swin变压器在四个代表视觉基准上设置新记录：84.0％的Top-1在Imagenet-V2图像分类准确度，63.1 / 54.4盒/掩模地图上的Coco对象检测，59.9 Miou在Ade20K语义细分中，在动力学-400视频动作分类上的86.8％的前1个精度。我们的技术通常适用于缩放视觉模型，这尚未广泛探索为NLP语言模型，部分原因是培训和应用中的困难：1）视觉模型经常面临规模的不稳定问题，2）许多下游愿景任务需要高分辨率图像或窗口，并且目前尚不清楚如何有效地将模型在低分辨率上预先培训到更高分辨率。当图像分辨率高时，GPU存储器消耗也是一个问题。为了解决这些问题，我们提出了几种技术，通过使用Swin Transformer作为案例研究来说明：1）归一化技术和缩放的余弦注意力，提高大视觉模型的稳定性; 2）一种日志间隔的连续位置偏置技术，以有效地将在低分辨率图像和窗口预先训练的模型转移到其更高分辨率的对应物。此外，我们分享了我们的关键实施细节，导致GPU内存消耗的大量节省，从而使得用常规GPU培训大型视觉模型可行。使用这些技术和自我监督的预训练，我们成功培训了强大的3B往返变压器模型，并有效地将其转移到涉及高分辨率图像或窗口的各种视觉任务，实现了各种最先进的准确性基准。

在这项工作中，我们专注于互动人类解析（IHP），旨在将人体形象分成多个人体部位，具有来自用户的相互作用的指导。这项新任务继承了人类解析的类感知属性，其无法通过通常是禁止类别的传统交互式图像分割方法很好地解决。为了解决这项新任务，我们首先利用用户点击以识别给定图像中的不同人为部分。随后将这些点击转换为语义感知的本地化映射，其与RGB图像连接以形成分割网络的输入并生成初始解析结果。为了使网络能够更好地了解用户在校正过程中的目的，我们调查了改进的几个主要方法，并揭示了基于随机采样的点击增强是推广校正效果的最佳方式。此外，我们还提出了一种语义感知损失（SP损失）来增加培训，这可以有效利用点击的语义关系以获得更好的优化。为了最好的知识，这项工作是第一次尝试在交互式设置下解决人类解析任务。我们的IHP解决方案在基准嘴唇上实现了85 \％Miou，Pascal-Person-Part和CiHP，75 \％Miou，只有1.95,3.02,2.84和每班3.09点击的Helen。这些结果表明，我们只需几个人类努力就可以获得高品质的人类解析面具。我们希望这项工作能够激励更多的研究人员在未来为IHP开发数据有效的解决方案。

在本文中，我们引入了一种基于基础架构的传感的移动机器人本地化的固定理论方法。所提出的方法计算设置了在传感器和机器人运动模型上假设已知噪声界限的假设下限制机器人体和方向的设置。我们为这种集合理论定位方法建立了理论属性和计算方法，并说明了其在模拟中的自动化式停车示例以及在现实世界实验中的全向机器人本地化问题中的应用。我们证明，与FastSlam相比，与不确定性设置初始化和传感器噪声相比，设定理论定位方法可以牢固地性能。